Phillips berpacaran dengan Elizabeth Lorio, pewaris minyak hati ikan kod dari Amerika Syarikat, selama dua tahun. Pada tahun 2001, mereka tinggal bersama selama lapan bulan.[16] Kemudian, beliau mempunyai hubungan selama empat bulan dengan Tara Swain, seorang pramugari.[17]

Pada tahun 2003, Phillips bertemu Autumn Kelly, seorang perunding pengurusan orang Kanada, di Formula 1 Grand Prix Kanada di Montreal.[7] Pertunangan mereka diumumkan pada 28 Julai 2007.[9][16][19]

Kelly, yang dibesarkan dalam Gereja Katolik, telah diterima ke dalam Gereja England sebelum perkahwinannya. Jika beliau seorang Roman Katolik pada masa perkahwinan itu, Phillips akan kehilangan kedudukannya dalam susur-galur pewarisan takhta kerana syarat-syarat Akta Penyelesaian 1701 yang telah dimansuhkan.[20][21][22][23] Sejurus sebelum perkahwinan mereka, pasangan itu telah ditemu bual dan difoto oleh majalah Hello!, dan dilaporkan telah dibayar £500,000, menyebabkan beberapa kebimbangan dalam kalangan diraja.[24][25][26] Mereka berkahwin pada 17 Mei 2008 di Gereja Kecil St George di Istana Windsor.[26][27] Upacara itu dikendalikan oleh David Conner, Dekan Windsor.[28] Pasangan itu tinggal di Hong Kong selepas Phillips menukar jawatan dalam Bank Diraja Scotland dan menjadi ketua aktiviti penajaan mereka di rantau itu.

Anak pertama mereka, dan cicit pertama Ratu, seorang anak perempuan bernama Savannah Anne Kathleen, dilahirkan pada 29 Disember 2010 di Hospital Diraja Gloucestershire.[29][30][31] Ratu hadir untuk pembaptisan bayi itu, yang berlangsung pada 23 April 2011 di Church of the Holy Cross di Avening, Gloucestershire, berhampiran Taman Gatcombe, rumah ibu Phillips. Savannah berada di tempat ke-18 dalam susur-galur pewarisan takhta.[32] Pada 29 Mac 2012, anak perempuan kedua pasangan itu, Isla Elizabeth, dilahirkan di Hospital Diraja Gloucestershire. Beliau berada di tempat ke-19 dalam susur-galur pewarisan takhta.[33]

Pada 11 Februari 2020, Phillips dan isterinya mengesahkan bahawa mereka telah berpisah pada 2019 dan mengumumkan mereka merancang untuk bercerai.[34][35] Perceraian telah diselesaikan pada 14 Jun 2021.[36]

Pada Mac 2021, Phillips telah disoal siasat oleh polis kerana melakukan perjalanan dengan kereta dari Gloucestershire ke Aberdeenshire untuk berjumpa rakan, walaupun terdapat sekatan pergerakan semasa wabak COVID-19 di United Kingdom. Perjalanan itu didapati oleh polis tidak melanggar mana-mana peraturan sekatan COVID-19 dan jurucakap Phillips berkata beliau "dalam perjalanan perniagaan berhubung dengan sebuah syarikat bernama XL Medical".[37]

Selepas perceraiannya, Phillips memulakan hubungan dengan Lindsay Wallace, dengan siapa beliau membuat debut rasminya sebagai pasangan di Epsom Derby pada Jun 2022.[38]

Pada 17 September 2022, semasa tempoh perkabungan rasmi untuk Ratu Elizabeth II, Phillips menyertai adik dan enam sepupunya untuk berjaga-jaga selama 15 minit di sekeliling keranda Ratu ketika ia diletakkan di Dewan Westminster untuk orang ramai memberi penghormatan terakhir.[39] Pada 19 September 2022, beliau menyertai anak-anak Ratu dan ahli kanan Keluarga Diraja yang lain berjalan di belakang iring-iringan dalam perarakan istiadat pemakaman negara.[40]